# pip install requests 在命令窗口或者终端安装请求模块


# 爬虫的步骤
# 1找数据（确认需要获取的数据）
# 2确认数据是否在网页源代码里面
# 如果存在，直接请求该网站

# 如果需要的数据在网页源代码里面，那么这个链接一定是get请求

# 响应状态码200，并不代表获取到需要的数据，只能代表请求页面成功返回数据

# 确认网址
import requests

url = 'https://www.baidu.com/'
head_data = {
    # 字典，需要有一个键值对
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}
html = requests.get(url, headers=head_data)
print(html.text)

f = open('百度数据.txt', 'w+', encoding='utf-8')  # 把数据保存到文件中
f.write(html.text)
f.close()

html.close()
# ctrl+f 搜索
# print(html.request.headers)
